Competências de avaliação participativa.

Objective. On this paper we discuss the competencies required for participatory evaluation processes, presenting the concept of co-evaluation (originated in the Evaluation Research area) and its emerging role in Information Science and Open Science. Design/Methodology/Approach. Considering that the discussion about collaborative assessment practices is becoming increasingly more relevant, a meta-evaluation perspective is adopted, contextualizing the pertinence and trajectory of the emerging concept of co-evaluation and giving special emphasis to the development contexts and transferability of competences, which are necessary for the their implementation. Results/Discusion. The results of the research carried out highlight the role of co-evaluation competences grouped into six dimensions: reflexive practice, technical-based practice, situational analysis, management, interorganizational competences and interpersonal competences. Conclusions. It is concluded that the wide experience of Information Science in evaluation practices may be a distinctive factor for the discussion around these competences. Originality/Value. The article presents an innovative approach that, by capitalizing on the contribution of Information Science, proposes a framework of co-evaluation competences, highlighting the transferability of competencies between evaluators and stakeholders in several contexts

A strategic and evidence-based approach

UIDB/04666/2020 UIDP/04666/2020Based on the outcomes of Project PLS, this paper discusses the role of strategy alignment and impact evaluation practices and competencies in the processes of gathering evidence and advocacy towards public libraries’ contribution to the UN 2030 Agenda.publishersversionpublishe

Sustainability Metrics in Library and Information Services: A Quality Management Framework

This paper discusses the role of sustainability metrics in quality management in Library and Information Services (LIS), contributing to the ongoing debate by developing an integrated framework that offers an opportunity to measure sustainability value, influence and meaning of information services, and providing an illustrative example of LIS professionals and students discussion in Portugal. LIS assessment experience can strongly contribute to the debate around culture and development and, therefore, global sustainability. But in order to have its expertise externally recognize, the library and information community needs to integrate the sustainability perspective into the LIS performance evaluation research and practice, using new tools and outlining a meta-management assessment strategy

Models and Strategies for Information Management: Convergence of Impacts

The current discussion around models and strategies for information management in the era of digital transition point to two dynamics, which follow the lifestyles, consumer habits and information behaviour of citizens: diversity of services and content, on one side; and convergence not only in media, but also in management modes, on the other. The purpose of this paper is to discuss the use of convergent information management models, strategies and impacts in Library, Archives and other Information Services (LAIS), in academic and practical/professional environments in Portugal. Three management areas - e-skills, e-consumption and sustainability – are discussed, providing details and a basis for the convergence analysis. Using two dimensions - the operationalization of strategy and the approach to group development of LAIS skills -the usage of convergent information management models and strategies in LAIS is then examined through three cases / examples. The first model / strategy identified provides an example of assessment and it is widely explained: (1) Co-creation workshops on Building a sustainability assessment framework: this interdisciplinary experience with students of Information and Documentation master courses in the Faculty of Social Sciences and Humanities of Universidade NOVA de Lisboa (FCSH/UNL) (December 2013-February 2014) and students of the Archives Post-graduation course at Universidade Lusófona de Humanidades e Tecnologias (July 2014), led to the (co)definition of a conceptual framework for assessing the sustainability and impacts of LAIS as cultural organizations. Two other examples of information management models and strategies complemented this approach to convergence: (2) CIG’s Information and Documentation Centre (IDC) integrated the information management model (October 2013): the development of a new management model for the Commission for Citizenship and Gender Equality (CIG)’s LAIS was anchored on the implementation of a modern Library Management System, which boosted the creation/improvement and integration under the conceptual umbrella of a holistic new brand – IDC - of other information areas, like publishing inventory management, 3 ATINER CONFERENCE PAPER SERIES No: LIB2015-1812 archives and records management, digitalization of CIG’s historical archive and digitalization of special collections. (3) Information Management and Curation Post-graduation and Master courses: creation of a graduate (and Master) degree in Information Management and Curation (FCSH/UNL), proposing a model for studies in which information management assumes a prominent transverse position and developing an integrated model of skills enabling simultaneously managing diversity and the hybrid culture of services convergence needs of the information market (June 2014). When taking an overarching approach to the study of these models and strategies, attention should be paid to new operating models impacts and needed management skills, focusing on thinking strategies in the cultural and creative industries and considering culture as the fourth pillar of sustainable development. This focus opens new horizons for action by allowing the creation of new performance indicators, unifying the area of culture, aggregating data from libraries, archives, museums and other information services and, thereby, allowing an integrated strategic vision of the results and impacts. In the near future, management of integrated impacts seems to be the next step of the differentiation of quality

Dimensões estratégicas e emergentes da avaliação do desempenho|bmodelos, dinâmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)

Premio Extraordinario de Doctorado de la UAH en 2013El objeto de la presente investigación se centra en los propios modelos y dinámicas de la evaluación del desempeño, con el fin de determinar su impacto en la Red de Bibliotecas Municipales de Lisboa (RBML), en el periodo comprendido entre 1989 y 2009. Los objetivos definidos enmarcan esta Tesis Doctoral dentro de la línea de investigación que se designa como Investigación en evaluación. Asimismo, al elegir los propios modelos y dinámicas de evaluación del desempeño de bibliotecas como objetos de investigación, la Tesis se sitúa en el (sub-)campo de la meta-evaluación. Basada en una metodología eminentemente cualitativa apoyada en una combinación de métodos (revisión de la literatura, la construcción y aplicación de modelos conceptuales de análisis y estudio de caso), la investigación meta-evaluativa se ha desarrollado a lo largo de dos enfoques principales: (1) identificación, caracterización y categorización de los principales modelos y enfoques para evaluar el desempeño de las bibliotecas que surgieron del análisis del corpus internacional y también del corpus que se centra específicamente en el contexto de las bibliotecas en Portugal; y (2) el estudio de los impactos de los modelos y dinámicas de la evaluación del desempeño en la Red de Bibliotecas Municipal de Lisboa (RBML) en el período de 1989 a 2009. En cuanto al primer enfoque, podemos destacar la propuesta y la aplicación de una Matriz para Categorización de las Tipologías de Evaluación del Desempeño de las Bibliotecas (Matriz CTADB). Los resultados de la aplicación de la Matriz CTADB evidencian, por una parte, las principales tendencias, modelos y experiencias de evaluación de bibliotecas, tanto en el ámbito internacional como en Portugal. Por otra parte, los resultados de la aplicación de esta matriz para analizar la evolución de la teoría y las prácticas de la evaluación del desempeño permiten relacionar los principales modelos/enfoques identificados con la perspectiva dominante en cada caso: perspectiva interna, externa y holística. Esta aproximación resultó también en a la identificación de los principales tipos de enfoques meta-evaluativos y áreas de investigación sobre los impactos de la evaluación del desempeño de las bibliotecas y en a la creación de un meta-modelo del proceso de evaluación de desempeño. El segundo enfoque ? el estudio de caso de la RBML ? se desarrolló basado en tres ejes fundamentales: el contexto macro y micro de la Red; las dinámicas de evolución del desempeño realizadas durante en el periodo 1989-2009; y los impactos de la evaluación del desempeño en la RBML. Los resultados relativos a la evolución de la RBML a lo largo de 126 años se refieren a su modelo organizativo, así como a las prácticas, dinámicas e impactos de la evaluación del desempeño en la Red. En lo que se refiere a su organización se presenta un retrato de la evolución de la Red en el que se distinguen tres periodos. El primero coincide con la aparición de las primeras bibliotecas municipales y se extiende hasta la primera década del siglo pasado. El segundo es una fase de consolidación que se inicia con la llegada del régimen republicano. El tercero, que comienza en los años 80 del siglo pasado, se caracteriza por la transformación de la Red a partir de la creación de bibliotecas públicas modernas, la incorporación de las TICs y la formalización de relaciones estables con la Red de Bibliotecas Escolares. Asimismo, el estudio diacrónico de la Red resulta en una categorización de su modelo de organización atendiendo al patrón de biblioteca predominante en cada fase de su historia, así como a los servicios prestados y al tipo de usuario final. Los resultados del análisis de las prácticas implementadas nos permiten identificar cuatro dinámicas en la evaluación del desempeño: ?Estadística? (Dinámica 1 - D1); Recogida y disponibilidade de información sobre el desempeño (Dinámica 2 - D2); Programa de Evaluación del Desempeño de la RBML (Dinámica 3 - D3) e Impactos en las bibliotecas (Dinámica 4-D4). En el Programa de Evaluación del Desempeño de la RBML (Dinámica 3 - D3) se identifican, a su vez, cinco sub-dinámicas: Medidas e indicadores de desempeño BLX (D3a), Evaluación de la calidad de los servicios (D3b), Iniciativa para la Mejora Continua SATT (D3c), Iniciativa Gestión del Conocimiento (D3d) y Benchmarking (D3e). Los resultados de la aplicación del Modelo DIADB presentan las características de las dinámicas identificadas, clasificándolas según el objeto y los métodos empleados, la organización del proceso y la forma adoptada para difundir los resultados (estadísticas, informes y comunicaciones y presentaciones en eventos científicos del ámbito de la Documentación). Por último, se presentan los resultados referidos a los impactos de la evaluación del desempeño en la RBML. Estos resultados se completan con los relativos a la relación entre patrón de biblioteca y modelos y dinámicas de evaluación , así como con los que se refieren a la fase de evaluación de los impactos. Y, a este respecto, al adoptar un enfoque de meta-evaluación, uno de los resultados más significativos de la investigación tiene que ver con los propios conceptos, como es el caso del referido al impacto, que resulta en un concepto más amplio al relacionarlo con, por ejemplo, el concepto de modelo: cualquier tipo de efecto o alteración causado por un modelo, iniciativa u organización, de forma directa o indirecta, en un individuo, un grupo o una comunidad

Estratégias de valorização social do papel das bibliotecas públicas europeias na Aprendizagem ao Longo da Vida

Esta comunicação pretende discutir as principais estratégias de valorização social do papel das bibliotecas públicas europeias na Aprendizagem ao Longo da Vida (ALV) à luz das dinâmicas e resultados gerados pelo Projecto ENTITLE. Nesse sentido, após a breve apresentação deste projecto comunitário, são analisadas cinco áreas-chave de intervenção: Estratégias, políticas e defesa das bibliotecas públicas e da ALV, Ambiente de aprendizagem, Recursos, Avaliação dos impactos das bibliotecas públicas na aprendizagem e Identificação e disseminação de boas práticas.A propósito da primeira área de intervenção estratégica são apresentadas as principais recomendações dirigidas às entidades financiadoras e gestoras, bem como aos gestores e defensores das bibliotecas públicas. No quadro da segunda área de intervenção, são discutidas algumas das características essenciais à criação de ambientes de aprendizagem adequados ao conceito de biblioteca pública como “Núcleo Local de Aprendizagem”.A existência de recursos financeiros e humanos adequados à promoção de incitativas de ALV e, sobretudo, a disponibilização de um conjunto mais complexo de competências nas equipas, são aspectos analisados ao nível da terceira área de intervenção estratégica proposta.A defesa do papel das bibliotecas públicas no território da ALV deve encontrar um forte apoio na gestão de evidências, nomeadamente na utilização de uma metodologia para avaliação dos efeitos/impactos destas organizações na aprendizagem. Correspondendo esta à quarta área de intervenção estratégica, é apresentada e discutida a metodologia que suporta a aplicação do modelo GLO (EGA).A última área de intervenção estratégica relaciona-se com a identificação e disseminação de boas práticas ao nível da intervenção das bibliotecas públicas no campo da ALV, permitindo a apresentação de um conjunto seleccionado de exemplos para cada uma das áreas de intervenção anteriormente analisadas.Por fim, são apresentadas algumas hipóteses de intervenção que podem permitir potenciar à escala nacional os resultados do Projecto ENTITLE

Dimensões estratégicas e emergentes da avaliação do desempenho|bmodelos, dinâmicas e impactos na Rede de Bibliotecas Municipais de Lisboa (1989-2009)

Premio Extraordinario de Doctorado de la UAH en 2013El objeto de la presente investigación se centra en los propios modelos y dinámicas de la evaluación del desempeño, con el fin de determinar su impacto en la Red de Bibliotecas Municipales de Lisboa (RBML), en el periodo comprendido entre 1989 y 2009. Los objetivos definidos enmarcan esta Tesis Doctoral dentro de la línea de investigación que se designa como Investigación en evaluación. Asimismo, al elegir los propios modelos y dinámicas de evaluación del desempeño de bibliotecas como objetos de investigación, la Tesis se sitúa en el (sub-)campo de la meta-evaluación. Basada en una metodología eminentemente cualitativa apoyada en una combinación de métodos (revisión de la literatura, la construcción y aplicación de modelos conceptuales de análisis y estudio de caso), la investigación meta-evaluativa se ha desarrollado a lo largo de dos enfoques principales: (1) identificación, caracterización y categorización de los principales modelos y enfoques para evaluar el desempeño de las bibliotecas que surgieron del análisis del corpus internacional y también del corpus que se centra específicamente en el contexto de las bibliotecas en Portugal; y (2) el estudio de los impactos de los modelos y dinámicas de la evaluación del desempeño en la Red de Bibliotecas Municipal de Lisboa (RBML) en el período de 1989 a 2009. En cuanto al primer enfoque, podemos destacar la propuesta y la aplicación de una Matriz para Categorización de las Tipologías de Evaluación del Desempeño de las Bibliotecas (Matriz CTADB). Los resultados de la aplicación de la Matriz CTADB evidencian, por una parte, las principales tendencias, modelos y experiencias de evaluación de bibliotecas, tanto en el ámbito internacional como en Portugal. Por otra parte, los resultados de la aplicación de esta matriz para analizar la evolución de la teoría y las prácticas de la evaluación del desempeño permiten relacionar los principales modelos/enfoques identificados con la perspectiva dominante en cada caso: perspectiva interna, externa y holística. Esta aproximación resultó también en a la identificación de los principales tipos de enfoques meta-evaluativos y áreas de investigación sobre los impactos de la evaluación del desempeño de las bibliotecas y en a la creación de un meta-modelo del proceso de evaluación de desempeño. El segundo enfoque ? el estudio de caso de la RBML ? se desarrolló basado en tres ejes fundamentales: el contexto macro y micro de la Red; las dinámicas de evolución del desempeño realizadas durante en el periodo 1989-2009; y los impactos de la evaluación del desempeño en la RBML. Los resultados relativos a la evolución de la RBML a lo largo de 126 años se refieren a su modelo organizativo, así como a las prácticas, dinámicas e impactos de la evaluación del desempeño en la Red. En lo que se refiere a su organización se presenta un retrato de la evolución de la Red en el que se distinguen tres periodos. El primero coincide con la aparición de las primeras bibliotecas municipales y se extiende hasta la primera década del siglo pasado. El segundo es una fase de consolidación que se inicia con la llegada del régimen republicano. El tercero, que comienza en los años 80 del siglo pasado, se caracteriza por la transformación de la Red a partir de la creación de bibliotecas públicas modernas, la incorporación de las TICs y la formalización de relaciones estables con la Red de Bibliotecas Escolares. Asimismo, el estudio diacrónico de la Red resulta en una categorización de su modelo de organización atendiendo al patrón de biblioteca predominante en cada fase de su historia, así como a los servicios prestados y al tipo de usuario final. Los resultados del análisis de las prácticas implementadas nos permiten identificar cuatro dinámicas en la evaluación del desempeño: ?Estadística? (Dinámica 1 - D1); Recogida y disponibilidade de información sobre el desempeño (Dinámica 2 - D2); Programa de Evaluación del Desempeño de la RBML (Dinámica 3 - D3) e Impactos en las bibliotecas (Dinámica 4-D4). En el Programa de Evaluación del Desempeño de la RBML (Dinámica 3 - D3) se identifican, a su vez, cinco sub-dinámicas: Medidas e indicadores de desempeño BLX (D3a), Evaluación de la calidad de los servicios (D3b), Iniciativa para la Mejora Continua SATT (D3c), Iniciativa Gestión del Conocimiento (D3d) y Benchmarking (D3e). Los resultados de la aplicación del Modelo DIADB presentan las características de las dinámicas identificadas, clasificándolas según el objeto y los métodos empleados, la organización del proceso y la forma adoptada para difundir los resultados (estadísticas, informes y comunicaciones y presentaciones en eventos científicos del ámbito de la Documentación). Por último, se presentan los resultados referidos a los impactos de la evaluación del desempeño en la RBML. Estos resultados se completan con los relativos a la relación entre patrón de biblioteca y modelos y dinámicas de evaluación , así como con los que se refieren a la fase de evaluación de los impactos. Y, a este respecto, al adoptar un enfoque de meta-evaluación, uno de los resultados más significativos de la investigación tiene que ver con los propios conceptos, como es el caso del referido al impacto, que resulta en un concepto más amplio al relacionarlo con, por ejemplo, el concepto de modelo: cualquier tipo de efecto o alteración causado por un modelo, iniciativa u organización, de forma directa o indirecta, en un individuo, un grupo o una comunidad

An Alignment Perspective

UIDB/04666/2020 UIDP/04666/2020publishersversionpublishe

a methodological proposal

UID/HIS/04666/2019In September 2015, the United Nations (UN) Member States adopted the 2030 Agenda for Sustainable Development setting the global, national and local framework for putting that responsibility into action (United Nations, 2015). The new global Agenda is formed by 17 Sustainable Development Goals (SGDs) which must be implemented by all countries until 2030, so that "no one will stay behind". The 169 associated targets are monitored and reviewed using a set of global indicators (Sustainable Development Solutions Network, 2015). Sectorial organizations worked on bringing their potential contributions to sustainable development to the attention of Member States and the UN. In the post-2015 process, the International Federation of Library Associations and Institutions (IFLA) continued its active engagement towards promoting libraries within the UN 2030 Agenda and consolidated it in one of the Key Initiatives under the Strategic Directions set for 2016-2021 (IFLA, 2015). It should be stressed that access to information has been recognized as a target under SDG16 (target 16.10), culture and ICT have also been included in the SGDs (target 11.4 and targets 5b, 9c, 17.8, respectively) and universal literacy is recognized in the vision for the UN 2030 Agenda (IFLA, 2018a) In Portugal, initiatives to promote library and information services within the 2030 Agenda are still modest, as research intersecting Information Science with Performance Evaluation and Sustainable Development is not yet sufficiently developed (Ochôa & Pinto, 2019). However, in November 2016, a team of researchers at the Faculty of Social Sciences and Humanities of Universidade NOVA de Lisboa (NOVA FCSH, Portugal) started a research project entitled Public Libraries and Sustainability: Gathering Evidences of Contribution to SDGs (Project PLS) aimed at the development of a framework for evaluating libraries’ contribution to SDGs and tailor it to Portuguese public libraries (Pinto & Ochôa, 2018a). Based on the methodology developed on this Project, this paper discusses the role of strategy alignment and impact evaluation practices in the processes of gathering evidence and advocacy towards libraries’ contribution to the UN 2030 Agenda.publishersversionpublishe

Sustentabilidade e medição de impactos em organizações culturais: o papel dos indicadores de literacia mediática, comunicação e cidadania

A importância da medição e avaliação dos impactos tem vindo a ser destacada em várias áreas: nas bibliotecas, com o surgimento da norma ISO 16394 - Methods and procedures for assessing the impact of libraries; na reflexão e debate em torno dos compromissos e metas que irão integrar a Agenda de Desenvolvimento Pós-2015; e na discussão da integração da Cultura como o quarto pilar do desenvolvimento sustentável, com destaque para a criação pela UNESCO de uma bateria de (22) Indicadores de Cultura para o Desenvolvimento e para a recente realização do UNESCO World Forum on Culture and the Cultural Industries, onde foi reconhecida a complexidade da criação e gestão integrada de indicadores. Tendo como objetivo participar no debate e apresentar contributos para a resposta à questão “como podemos medir os impactos das organizações culturais e o seu contributo para o desenvolvimento sustentável?” apresenta-se a experiência realizada num workshop interdisciplinar de desenvolvimento de competências de avaliação de impactos no âmbito do Mestrado em Ciência da Informação e Documentação da Faculdade de Ciências Sociais e Humanas da Universidade Nova de Lisboa (janeiro-junho 2014). Um dos resultados desta iniciativa foi a construção de uma estrutura de medição e avaliação de impactos, centrada em 7 potenciais dimensões de impacto - Economia, Educação, Património, Comunicação, Governança, Participação social e Igualdade de género – e a sua aplicação ao campo da Informação-documentação, discutindo a importância da recolha de evidências nas áreas da literacia mediática, comunicação e cidadania para os impactos do setor cultural